心理科學再現危機與因應方案

自我介紹

陳紹慶
慈濟大學人類發展與心理學系專任副教授

開放科學中心大使
心理科學加速器創始成員;訓練委員會助理監督
scchen.com

創用 CC 授權條款 Fork my slides on Github

2011: First year of Replication Crisis in Psycho

Diederik Stapel

Diederik Stapel

Daryl Bem’s Feeling the Future

Daryl Bem

False-positive psychology

Chris Chambers

Today I will talk about…

  • The Sin of Bias
  • The Sin of Hidden Flexibility
  • The Sin of Unreliability
  • The Sin of Corruptibility

The Sin of Bias

What is False-Positive

Prevalence of False-Positive

Fanelli(2010) Fanelli(2012)

If we wish every result is replicable, a science at least has the statistical power of 80%.

The truth is … (Smaldino and McElreath, 2016)

The sin of Hidden Flexibility

Controversy surrounding Power Posing

Amy Cuddy @ TED talk

Good theory, Bad evidence

  • Failed replications (Ranehill, 2015)
  • Publication bias (Carney, Cuddy, & Yap, 2015; Simmons & Simonsohn, 2017)
  • Sloopy methods: p-hacking(Cherry picking) and HARKing (Bailey, LaFrance, & Dovidio, 2017; Cesario, Jonas, & Carney, 2017; Gronau et al., 2017; Jonas et al., 2017; Klaschinski, Schnabel, & Schröder-Abé, 2017; Latu, Duffy, Pardal, & Alger, 2017; Ronay, Tybur, van Huijstee, & Morssinkhof, 2016)
  • Till present, there is a reproducible but slight feeling of power.

Amy Cuddy @ TED talk

When we focus on positive results only…

The sin of Unreliability

What's wrong with Daryl Bem's study

Daryl Bem

Source: https://youtu.be/42QuXLucH3Q

Source: https://youtu.be/42QuXLucH3Q

Criticisms

JPSP rejected failed replication(Ritchie, Wiseman, & French, 2012)

HARKing (Hypothesizing After the Results are Known; Kerr, 1998)

The sin of Corruptibility

A Discredited Food Psychologist

Wansink boasted how to publish paper by QRPs


(Original date: 2016/11/21)

GRIM: A tool to check the spooky roundings of scaling data, less than 100 samples.

James Heathers Nick Brown Jordan Anaya Tim van der Zee
James Heathers Nick Brown Jordan Anaya Tim van der Zee

4 Wansink-boasted papers had QRPs:

Retractions before Wansink's resign

More truth to be revealed

Solution: 7 steps to Open Science

實踐研究過程透明化七步驟

  1. 在公開存放庫創建研究專案預置空間
  2. 研究專案預先註冊(Preregistration);或投稿註冊報告(Registered Report)
  3. 開放研究材料(Open Materials)
  4. 開放研究資料(Open Data)
  5. 開放可重製程式碼(Reproducible Code, Open Source)
  6. 開放取用(Open Access): 同儕審稿前於預印本平台公開手稿,接受後依版權協議公開全文。
  7. 開放同儕審稿(Open Peer Review)

使用指南

預先註冊是什麼?

  • 研究開始執行前註記備份日期的計劃文件。

  • 計劃文件詳述到完成發表前,執行細節的行動標準、紀錄方式及公開管道。

預先註冊與註冊報告

接受註冊報告的期刊

  • COS介紹專頁公開表格;目前全球各領域已超過200本期刊接受一般或特定目的的註冊報告。

  • 中華心理學刊也接受註冊報告;目前投稿狀況未知。

如何進行?

常見的誤會

  • 公開紀錄會侵犯參與者個人隱私嗎?
    • 紀錄只限能重製分析結果的資訊,未在分析計劃之內的無關或非必要之個人隱私資料,研究者原則上不必亦不得收集。
  • 公開的計畫書會被其他學者搶先完成嗎?
    • 只要是以預先註冊/註冊報告模式完成的計劃,必須檢核是否依照開始前的計劃執行。公開計劃的研究者在完成計劃之前,有該項計劃的著作權。

公開存放庫一站達成

範例:物件方向效應跨語言量測專案

報告整合公開資訊

範例:探討物件尺寸調節物件方向效應之機制

報告數據可重製

  • (未)公開的OSF備份計劃或報告文件,可直接於OSFpreprints公開。

  • 逐次更新,確保計劃到報告的累進紀錄一致。

  • 建置平台易,養成習慣難,需要整個學術界同意為規範(Norms)。

OA在台灣學術界的推廣難題

  • 掠奪性期刊泛濫
  • 正確資訊不易觸及所有學者

正在運作的同儕評審系統

來源:episciences.org

正在萌芽的新創企業

如何開始?

機構支持

OSCU logo
reproducibilitea
CREP logo
PSA logo
開放科學社群 協作平台